强化学习 · 第五章 · 专题动画

从一套算法
到一页纸

算法讲完了,但「会做题」和「记住主干」是两件事。这一章不新增概念,只把整篇笔记压成一页纸,标出十个坑,再用七道题一个个戳破。

① 七问速答 ② 公式速查 ③ 十个误区 ④ 七道自测 ⑤ 三句话
一句话这一章不提新算法,只做三件事:压缩、纠错、自测。
MDP · 一页纸5 行 · 7 问 · 10 坑 · 7 题
1问题M = ⟨S, A, P, R, γ⟩
2目标Gt = rt + γGt+1
3评价Vπ = Rπ + γPπVπ
4求解V* = maxa [ R + γΣs′P V* ]
5收敛‖TU − TV‖∞ ≤ γ‖U − V‖∞
05.1 · 一页纸总结 · 七问速答(上)

定义、结构、目标、评价

① 七问› ② 速查卡› ③ 误区› ④ 自测› ⑤ 三句话
Q1
MDP 是什么?
用 ⟨S, A, P, R, γ⟩ 描述的序贯决策问题:动作影响转移,转移决定奖励,奖励按 γ 折现累加。
定义
Q2
为什么可以只看当前状态?
马尔可夫性:当前状态是历史的充分统计量;给定它之后,更早的历史不再提供关于未来的额外信息。
结构
Q3
学习目标是什么?
找一个策略 π,使期望折扣回报 𝔼π[Σγtrt] 最大——评价对象是策略,不是单个动作。
目标
Q4
如何评价一个策略?
贝尔曼期望方程 Vπ = Rπ + γPπVπ:线性方程组,有唯一解,也可迭代求解。
评价
上半张前四问只做一件事:把「问题、结构、目标、评价」四块板钉死,不许含糊。
05.2 · 一页纸总结 · 七问速答(下)

求解、数据、收敛,最后串成一条链

① 七问› ② 速查卡› ③ 误区› ④ 自测› ⑤ 三句话
Q5
如何找最优策略?
贝尔曼最优方程:把策略平均换成 max;解出 V* 或 Q* 再取贪心,值迭代与策略迭代是两条标准路径。
求解
Q6
模型未知怎么办?
用采样代替期望:MC 用整条回报,TD 用一步自举,Q-Learning 用 max 目标,策略梯度直接优化 π。
数据
Q7
为什么迭代能收敛?
贝尔曼算子是 γ-压缩:不动点存在且唯一,误差按 γk 几何衰减。
收敛
定义问题M = ⟨S,A,P,R,γ⟩ → 定义目标Gt = rt + γGt+1 → 变成可算Vπ, Qπ → 递归结构贝尔曼方程 → 只差求解π*
左边五元组定义问题,中间的递归定义目标,价值函数把目标变成可计算的量,贝尔曼方程给出递归结构;求解算法只负责「怎么解这个方程」。
05.3 · 一页纸的背面 · 公式速查

八格公式,加两条工程常用

① 七问› ② 速查卡› ③ 误区› ④ 自测› ⑤ 三句话
01
折扣回报
Gt = Σk≥0 γkrt+k
定义「一条轨迹有多好」
02
回报递归
Gt = rt + γGt+1
所有递归算法的源头
03
状态价值
Vπ(s) = 𝔼π[Gt | st=s]
评价「处于 s 有多好」
04
动作价值
Qπ(s,a) = 𝔼π[Gt | s,a]
评价「在 s 做 a 有多好」
05
V–Q 关系
Vπ(s) = Σaπ(a|s)Qπ(s,a)
策略加权平均
06
贝尔曼期望
Vπ = Rπ + γPπVπ
策略评估的方程
07
贝尔曼最优
V* = maxa[R + γΣs′PV*]
求最优价值
08
压缩性
‖TU − TV‖∞ ≤ γ‖U − V‖∞
收敛性与唯一性
TD 误差 δt = rt + γV(st+1) − V(st) 一步预测差多少 Q-Learning Q ← Q + α[r + γ maxaQ(s′,a) − Q] 异策略控制
用法七问记逻辑,这张卡记形状:写代码时对着它抄,比背定义靠谱。
05.4 · 常见误区总表(一)

五句话,五处悄悄跑偏

① 七问› ② 速查卡› ③ 误区› ④ 自测› ⑤ 三句话
01
把奖励 rt 当成回报 Gt
错
奖励是单步标量;回报是整条轨迹的折扣和,是随机变量;价值才是回报的期望。
02
用 Vπ 直接做策略改进
错
Vπ 已把动作按 π 平均掉了;比较动作必须用 Qπ,或借模型现算一步。
03
贝尔曼方程里漏掉 γ
错
漏乘 γ 等于把未来与现在等价:价值被系统性高估,γ = 1 时还可能发散。
04
马尔可夫性 = 未来与过去完全无关
错
是「给定现在后条件独立」;过去仍通过当前状态间接影响未来,只是不再提供新信息。
05
马尔可夫性 = 过程确定
错
它只约束依赖结构,不约束随机性;转移完全可以随机。
共同点前五个错都出在概念边界:奖励 / 回报 / 价值三件套,V 与 Q 的分工,γ 的作用,马尔可夫性的确切含义。
05.5 · 常见误区总表(二)

后五句话里,有两条只是半对

① 七问› ② 速查卡› ③ 误区› ④ 自测› ⑤ 三句话
06
状态怎么定义都满足马尔可夫性
错
只记位置不记速度,过程就不再马氏;状态设计是建模的核心工作,不是实现细节。
07
在期望方程里把 Vπ 写成 V*
错
Vπ 依赖具体策略,V* 是所有策略的上界;一字之差,问题被悄悄换掉。
08
γ 越大越好(越有远见)
半对
有效视野 1/(1−γ) 变长、收敛变慢、方差变大,需与决策周期匹配。
09
无模型方法就不需要 MDP 建模
错
状态、动作、奖励仍要定义清楚;无模型只是不显式估计 P,不等于不建模。
10
价值收敛 = 学到最优策略
半对
表格型、充分探索时成立;探索不足、函数逼近或分布偏移时,可能收敛到次优。
统计口径:十条里 8 条全错、2 条半对——没有一条是「稍微不准」,每一条都会直接把答案改掉。
05.6 · 自测(一)

盖上答案:马尔可夫性,与那个两状态算例

① 七问› ② 速查卡› ③ 误区› ④ 自测› ⑤ 三句话
Q1 / 07「马尔可夫性意味着未来与过去独立」,这句话对吗?
不对 正确说法是「给定当前状态后,未来与更早的历史条件独立」。过去仍然通过当前状态影响未来,只是不再提供额外信息;当成完全独立,就会误以为状态可以随便定义。
Q2 / 07两状态:s₁ 必到 s₂ 且 r = 0;s₂ 以 0.5 回 s₁、0.5 停留,r = 1;γ = 0.9。求 V(s₁)、V(s₂)。
① V(s₁) = 0.9 V(s₂)
② V(s₂) = 1 + 0.9 [ 0.5 V(s₁) + 0.5 V(s₂) ]
代入 V(s₂) = 1 + 0.855 V(s₂)
移项 0.145 V(s₂) = 1
V(s₂) = 200/29 ≈ 6.8966  V(s₁) = 180/29 ≈ 6.2069
验算:1 + 0.45 × (6.2069 + 6.8966) = 6.8966 ✓ 不动点回落
s₁ s₂ 必达 · r = 0 0.5 · r = 1 0.5 γ = 0.9 · 奖励只在 s₂
自测法先列方程、再代回验算:只要代回后不等,就说明代入或移项错了,不必重推整题。
05.7 · 自测(二)

V 的局限、γ = 1 的风险、有无模型的分界

① 七问› ② 速查卡› ③ 误区› ④ 自测› ⑤ 三句话
Q3 / 07已经知道 Vπ,为什么不能直接用它做策略改进?
因为 Vπ(s) 已经把动作按 π 平均掉了,看不到「换一个动作会怎样」。
要比较动作,必须用 Qπ(s,a);若只有 Vπ,就借模型现算 R(s,a) + γΣs′P Vπ(s′)。
这也是 Q-Learning 直接学 Q 的原因。
Q4 / 07γ = 1 时,贝尔曼迭代一定收敛吗?
不一定。压缩性消失,I − Pπ 可能奇异,解可能不唯一。
若存在不终止的正奖励回路,价值还会发散。
补救:有限时域、吸收态与终止条件,或改用平均奖励准则。
Q5 / 07有模型与无模型的本质区别是什么?
区别只在「期望怎么算」。
有模型:对 s′ 求和(全枚举);无模型:用实际转移的样本求平均。
自举、探索、样本效率这些差异,都由此派生。
它和「用不用神经网络」无关。
第六问把这三题答顺,V 与 Q 的分工、压缩性的前提、求和与采样的分界 就同时过关了。
05.8 · 自测(三)

两条迭代的关系,与「有效视野」的算法

① 七问› ② 速查卡› ③ 误区› ④ 自测› ⑤ 三句话
Q6 / 07值迭代与策略迭代是什么关系?
值迭代 = 把策略评估截断为一次最优备份,再隐含地做一次改进。
策略迭代 = 把评估做到收敛(或足够精度),再做一次完整改进。
两者都是广义策略迭代的特例,中间还有「截断策略迭代」的连续谱系。
Q7 / 07γ = 0.9 时,有效视野大约是多少步?
视野 1 / (1 − γ) = 1 / 0.1 = 10 步
十步之后,权重只剩 0.910 ≈ 0.35,再往后迅速可忽略。
所以「有效视野」说的是参与优化的步数,不是硬截断。
k=0 k=10 ≈ 0.35 γk 的衰减:第 10 步只剩三成半
1234567 七题全过,说明 定义、评价、求解、收敛、视野 都在手里了。
用法答不出来的题,回到对应那一章重看,比从头通读一遍划算得多。
05.9 · 如果只记三句话

把整章,收成三句能背下来的话

① 七问› ② 速查卡› ③ 误区› ④ 自测› ⑤ 三句话
1
MDP 是五元组定义的序贯决策问题
马尔可夫性让「当前状态」成为历史的充分统计量,这是全部递归算法的前提。
2
目标由折扣回报定义,评价由价值函数完成
二者靠恒等式 Gt = rt + γGt+1 连接;期望方程与最优方程,只是这条恒等式的两种用法。
3
求解的分水岭,在「期望怎么算」
能对模型求和 → 动态规划;只能采样 → 强化学习;而无论哪条路,收敛的底气都来自 γ-压缩。
先把五元组和贝尔曼方程写对,再谈算法
01一次选择→ 02一条轨迹→ 03一组方程→ 04一套算法→ 05一页纸 · 本章
MDP 基础专题 · 五章完结 → 下一站:算法专题与深度强化学习
片尾 · 出品说明
朝露记
强化学习 · 第五章 · 专题动画
朝露记出品
内容梳理 讲解配音 动画编排
第五章 · 完 下一站 · 算法专题与深度强化学习
解
00:00 / 17:23
空格 播放/暂停 ← → 切幕 R 重播 1–0 跳转